Methods of pattern recognition and machine learning are applied extensively in science, technology, and society. Hence, any advances in related theory may translate into large-scale impact. Here we explore how algorithmic information theory, especially algorithmic probability, may aid in a machine learning task. We study a multiclass supervised classification problem, namely learning the RNA molecule sequence-to-shape map, where the different possible shapes are taken to be the classes. The primary motivation for this work is a proof of concept example, where a concrete, well-motivated machine learning task can be aided by approximations to algorithmic probability. Our approach is based on directly estimating the class (i.e., shape) probabilities from shape complexities, and using the estimated probabilities as a prior in a Gaussian process learning problem. Naturally, with a large amount of training data, the prior has no significant influence on classification accuracy, but in the very small training data regime, we show that using the prior can substantially improve classification accuracy. To our knowledge, this work is one of the first to demonstrate how algorithmic probability can aid in a concrete, real-world, machine learning problem.

我们考虑了从一个示例轨迹中学习$ dx_t = f（x_t）dt+sigma（x_t）dw_t $的形式的随机微分方程的问题。这个问题比学习确定性动力学系统更具挑战性，因为一个示例轨迹仅提供有关未知功能$ f $，$ \ sigma $的间接信息，而随机过程$ dw_t $代表漂移，扩散和随机强迫术语，强迫术语，，分别。我们为此问题提出了一个简单的基于内核的解决方案，可以分解如下：（1）表示时间添加映射$ x_t \ rightarrow x_ {t+dt} $作为计算图，其中$ f $，$ \ \ Sigma $和$ DW_T $作为未知功能和随机变量出现。 （2）通过在未知函数上使用高斯过程（GP）先验的最大后验估计（给定数据）来完成图（近似未知的函数和随机变量）。 （3）从具有随机交叉验证的数据中学习GP先验的协方差函数（内核）。数值实验说明了我们方法的功效，鲁棒性和范围。

我们提出了一种高斯工艺方法（GP）方法（高斯过程流体动力学，GPH），用于求解Euler和Navier-Stokes方程。与平滑的粒子流体动力学（SPH）一样，GPH是一种基于拉格朗日粒子的方法，涉及跟踪流量运输的有限数量的颗粒。但是，这些颗粒不代表物质的易变粒子，而是传递有关连续流的离散/部分信息。闭合是通过将无差异GP的先验$ \ xi $放在粒子位置的涡度上的条件来实现。已知的物理学（例如Richardson Cascade和Velocity-Incrients Power Laws）已通过物理知识的添加剂纳入了GP。这相当于将$ \ xi $表示为独立GPS $ \ xi^l $的总和，我们称之为模式，以不同的比例作用。通过分析这些模式的激活，这种方法导致对理查森级联的定量分析，并使我们能够以统计方式而不是确定性的方式粗粒湍流。由于GPH是在涡度方程式上配制的，因此不需要求解压力方程。通过选择核的可压缩性和流体/结构边界条件，GPH所需的颗粒比SPH少得多。由于GPH具有自然的概率解释，因此数值结果具有不确定性估计，因此可以将其掺入UQ管道中，并以适应性的方式添加/去除粒子。提出的方法可以接受分析，它继承了最新的求解器对密集核矩阵的复杂性，并导致自然的湍流定义作为信息丢失。数值实验支持选择物理信息内核的重要性，并说明了此类内核对准确性和稳定性的主要影响。

本文介绍了在高斯过程回归/克里格替代建模技术中选择/设计内核的算法。我们在临时功能空间中采用内核方法解决方案的设置，即繁殖内核希尔伯特空间（RKHS），以解决在观察到它的观察值的情况下近似定期目标函数的问题，即监督学习。第一类算法是内核流，该算法是在机器学习中的分类中引入的。它可以看作是一个交叉验证过程，因此选择了“最佳”内核，从而最小化了通过删除数据集的某些部分（通常为一半）而产生的准确性损失。第二类算法称为光谱内核脊回归，旨在选择“最佳”核，以便在相关的RKHS中，要近似的函数的范围很小。在Mercer定理框架内，我们就目标函数的主要特征来获得该“最佳”内核的明确结构。从数据中学习内核的两种方法均通过有关合成测试功能的数值示例，以及在湍流建模验证二维机翼的湍流模型验证中的经典测试用例。

在统计决策理论中，如果没有其他模型对至少一种性质的风险更少，据说模型是最佳的（或可接受的）的典范，同时展示其他人的风险。在保留帕累托效率时，如何合理地汇总/组合有限一套帕累托最佳模型？这个问题是非虚拟的，因为加权模型平均不是一般来说，保留了Pareto效率。本文提出了四个逻辑步骤的答案：（1）理性聚合规则应保护Pareto效率（2）由于完整的课程定理，Pareto最佳模型必须是贝叶斯，即它们最小化风险自然状态的风险是关于一些先前的平均。因此，每个帕累托最佳模型可以与先前相关联，并且可以通过通过其前沿聚集Pareto最佳模型来维持帕累托效率。 （3）先前可以被解释为偏好排名对模型的偏好：先前$ \ PI $更喜欢模型B，如果A的平均风险低于B的平均风险。（4）理性/一致的聚合规则应该保留这一偏好排名：如果两个奖金$ \ pi $和$ \ pi'$ overion模型A Over Model B，那么通过聚合$ \ Pi $和$ \ Pi'$获得的先前也可能更喜欢B。这四个步骤，我们展示了所有理性/一致的聚合规则如下：给出每个单独的Pareto最佳模型的重量，引入弱订单/排名在帕累托最佳模型上，将有限组模型组汇总为模型与之前的最高排名模型的加权平均值的先前获得的。该结果表明，所有理性/一致的聚合规则必须遵循等级贝叶斯建模的概括。遵循我们的主要结果，我们将应用程序呈现给内核平滑，时间贬值模型和投票机制。

从数据中学习动态系统的简单和可解释的方法是用内核插值其矢量字段。特别是，当内核使用内核流量（KF）〜\ Cite {OWHADI19}（使用基于梯度优化来学习内核时，该策略是高效的（在准确性和复杂性方面）高效（无论是准确性和复杂性）。如果有一半的数据用于插值，则内核是良好的，如果使用一半的准确性没有显着损失）。尽管其先前的成功，但这种策略（基于插值驾驶动态系统的矢量场）时，当观察时间序列不定期采样时，打破了。在这项工作中，我们建议通过在（kf）数据适应的内核中的观察之间的时间差异结合时间差来解决动态系统的矢量字段来解决这个问题。我们将我们的方法与古典的基准动态系统进行了比较，并表明它显着提高了预测精度，同时保持简单，快速，坚固。

基本上有三种不确定性量化方法（UQ）：（a）强大的优化，（b）贝叶斯，（c）决策理论。尽管（a）坚固，但在准确性和数据同化方面是不利的。 （b）需要先验，通常是脆弱的，后验估计可能很慢。尽管（c）导致对最佳先验的识别，但其近似遭受了维度的诅咒，风险的概念是相对于数据分布的平均值。我们引入了第四种，它是（a），（b），（c）和假设检验之间的杂种。可以总结为在观察样本$ x $之后，（1）通过相对可能性定义了可能性区域，（2）在该区域玩Minmax游戏以定义最佳估计器及其风险。最终的方法具有几种理想的属性（a）测量数据后确定了最佳先验，并且风险概念是后部的，（b）确定最佳估计值，其风险可以降低到计算最小封闭的最小封闭式。利益图量下的可能性区域图像的球（这是快速的，不受维数的诅咒）。该方法的特征在于$ [0,1] $中的参数，该参数是在观察到的数据（相对可能性）的稀有度上被假定的下限。当该参数接近$ 1 $时，该方法会产生一个后分布，该分布集中在最大似然估计的情况下，并具有较低的置信度UQ估计值。当该参数接近$ 0 $时，该方法会产生最大风险后验分布，并具有很高的信心UQ估计值。除了导航准确性不确定性权衡外，该建议的方法还通过导航与数据同化相关的稳健性 - 准确性权衡解决了贝叶斯推断的脆弱性。

引入逻辑混淆是针对集成电路（IC）的多个硬件威胁的关键防御，包括反向工程（RE）和知识产权（IP）盗窃。逻辑混淆的有效性受到最近引入的布尔满意度（SAT）攻击及其变体的挑战。还提出了大量对策，以挫败SAT袭击。不论针对SAT攻击的实施防御，大型权力，性能和领域的开销是必不可少的。相比之下，我们提出了一种认知解决方案：基于神经网络的UNSAT子句翻译器Satconda，它会造成最小的区域和开销，同时以无法穿透的安全性保留原始功能。 SATCONDA与UNSAT子句生成器一起孵育，该生成器通过最小的扰动（例如包含一对逆变器或缓冲液）转换现有的结合性正常形式（CNF），或者根据提供的CNF添加新的轻巧UNSAT块。为了有效的Unsat子句生成，Satconda配备了多层神经网络，该网络首先了解特征（文字和条款）的依赖性，然后是一个长期 - 长期内存（LSTM）网络，以验证和回溯SAT-硬度，以更好地学习和翻译。我们拟议的Satconda在ISCAS85和ISCAS89基准上进行了评估，并被认为可以防御为硬件RE设计的多个最先进的SAT攻击。此外，我们还评估了针对Minisat，Lingeling和葡萄糖SAT求解器的拟议SATCONDAS经验性能，这些溶剂构成了许多现有的Deobfuscation SAT攻击。

本文提出了一种模型预测控制（MPC）静态跟踪静态和动态障碍物的算法。我们的主要贡献在于提高了潜在的非凸轨道优化的计算途径和可靠性。结果是MPC算法，在笔记本电脑和嵌入式硬件设备（如Jetson TX2）上运行实时运行。我们的方法依赖于在由此产生的轨迹优化中引起多凸结构的跟踪，碰撞和遮挡约束的新颖重新装配。我们利用拆分Bregman迭代技术利用这些数学结构，最终将我们的MPC减少到几毫秒内可解决的一系列凸二次程序。即使考虑到目标轨迹和动态障碍物的简单恒定速度预测，我们的快速重新计划允许在复杂环境中遮挡和无碰撞跟踪。我们在现实物理发动机中进行广泛的台面标记，并表明我们的MPC在可视性，平滑度和计算时度量中表现出最先进的算法。